1
Tokenização e Sequências
EvoClass-AI004Aula 4
0
🤖
Bip Bop! Bem-vindo, Cadete! Selecione um subtópico abaixo para ver como uma IA "lê" por meio da tokenização.
Comando do Py-BotAO VIVO
Bip Bop! Olá, Cadete! Para ensinar uma IA a ler, primeiro precisamos cortar palavras em pequenos "pequenos blocos" de Lego. Pronto para aprender como computadores transformam palavras em números?
Progresso do Tópico0%
Ótima escolha! Um Token é como um bloco de Lego. Palavras como "amizade" são divididas em partes menores como "amigo" e "navio." Até mesmo um simples "." é um token! Para uma IA, esses pedaços são mais fáceis de lidar do que frases inteiras longas.
1
Subtópico 1
O que é um Token?
Cortar o texto em pequenos blocos construtores como "amigo" e "navio."
Olhe isso! Depois que temos os tokens, a IA dá a cada um um número de identificação secreto. Esses números formam uma "sequência." Lembre-se: a ordem importa! "O cachorro mordeu o homem" e "O homem mordeu o cachorro" usam os mesmos blocos, mas a sequência conta uma história totalmente diferente!
2
Subtópico 2
O Poder das Sequências
Transformar blocos em uma lista matemática onde a ordem é tudo.
Você sabia? A IA tem uma "Janela de Contexto," que é como o tamanho da sua mão. Ela só consegue segurar um certo número de tokens na sua "mente" de uma vez antes de começar a esquecer o início!
Você sabia?
A IA tem uma "Janela de Contexto," que é como o tamanho da sua mão. Ela só consegue segurar um certo número de tokens na sua "mente" de uma vez antes de começar a esquecer o início!
Carregando...
⭐⭐⭐
Missão Concluída!
Você é um Mestre de Tokens!